package com.atguigu.bigdata.spark.rdd.instance;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.List;

/**
 * @Author gmd
 * @Description 从磁盘中创建RDD模型
 * @Date 2024-05-26 16:29:12
 */
public class Spark03_RDD_Disk {

    public static void main(String[] args) {
        final SparkConf conf = new SparkConf();
        conf.setMaster("local");
        conf.setAppName("spark");
        final JavaSparkContext jsc = new JavaSparkContext(conf);

        // 构建RDD数据处理模型，利用环境对象对接磁盘数据（文件），构建RDD对象
        // textFile方法可以传递一个参数：文件路径（相对路径和绝对路径都可以）
        //final JavaRDD<String> rdd = jsc.textFile("D:\\idea\\classes\\bigdata-bj-classes231226\\data\\test.txt");
        final JavaRDD<String> rdd = jsc.textFile("data/test.txt");

        final List<String> collect = rdd.collect();
        collect.forEach(System.out::println);

        jsc.close();
    }

}
